聯(lián)系我們
導(dǎo)讀：網(wǎng)頁抓取優(yōu)先策略也稱為“頁面選擇問題”(page Selection),通常是盡可能地首先抓取重要性的網(wǎng)頁，這樣保證在有限的資源內(nèi)盡可能地照顧到那些重要性高的網(wǎng)頁。那么哪些網(wǎng)頁才
發(fā)表日期：2019-12-23
文章編輯：興田科技
瀏覽次數(shù)：9373
標(biāo)簽：
網(wǎng)頁抓取優(yōu)先策略也稱為“頁面選擇問題”(page Selection),通常是盡可能地首先抓取重要性的網(wǎng)頁，這樣保證在有限的資源內(nèi)盡可能地照顧到那些重要性高的網(wǎng)頁。那么哪些網(wǎng)頁才是重要性高的呢？如何量化重要性呢？
重要性度量由鏈接歡迎度、鏈接重要度和平均鏈接深度這個(gè)方面決定。
定義鏈接歡迎度為IB(p)，它主要由反向鏈接(Backinks)的數(shù)目和質(zhì)量決定。首先考察數(shù)目，直觀地講，一個(gè)網(wǎng)頁有越多的鏈接指向它（反向鏈接數(shù)多），那么表示其他網(wǎng)頁對其的認(rèn)可。同時(shí)這個(gè)網(wǎng)頁被網(wǎng)民訪問的機(jī)會就大，推測出其重要性也就越高;其次考察質(zhì)量，如果被越多的重要性高的網(wǎng)指向，那么其重要性也就越高。如果不考慮質(zhì)量，就會出現(xiàn)局部最優(yōu)，而不是全局最優(yōu)的問題。最典型的就是作弊網(wǎng)頁，人為地在一些網(wǎng)頁中設(shè)置了大量反策鏈接指向其自身的網(wǎng)頁，以提高該網(wǎng)頁的重要性。如果不考慮鏈接質(zhì)量，就會被這些作弊者所利用。
定義鏈接重要度為IL(p)，它是一個(gè)關(guān)于URL字符串的函數(shù)，僅僅考察字符串本身。鏈接重要度主要通過一些模式，比如認(rèn)為包含“.COM”或者“HOME”的URL重要度高，以及具有較少斜杠(Slash)的URL重要度高等。
定義平均鏈接深度為ID(p),此為筆者所創(chuàng)。ID(p)表示在一個(gè)種子站點(diǎn)集合中，每個(gè)種子站點(diǎn)如果存在一條鏈路（寬度優(yōu)先遍歷規(guī)則）到達(dá)該網(wǎng)頁，那么平均鏈接深度就是這個(gè)網(wǎng)頁的又一個(gè)重要性指標(biāo)。因?yàn)榫嚯x種子站點(diǎn)越近，說明被訪問的機(jī)會越多，離種子站點(diǎn)越遠(yuǎn)，重要性越低。事實(shí)上，按照寬度優(yōu)先的遍歷規(guī)則即可滿足這種重要性高的網(wǎng)頁被優(yōu)先抓取的需要。
最后，定義網(wǎng)頁重要性的度量為I(p)，它由以上兩個(gè)量化值線性決定，即：
I(p)＝a*IB(p)+β*IL(p)
平均鏈接深度同寬度優(yōu)先的遍歷規(guī)則保證，因此不作為重要性評價(jià)的指標(biāo)。在抓取能力有限的情況下，如果能夠把重要性高的網(wǎng)頁盡可能地抓完，是合理科學(xué)的，最終被用戶查詢到的網(wǎng)頁也往往是那些重要性高的網(wǎng)頁。
盡管這樣看來已經(jīng)足夠完美，事實(shí)上，還是忽視了一個(gè)重要的要素－－時(shí)間。時(shí)間導(dǎo)致萬維網(wǎng)動態(tài)變化的一面。如何抓取那些新增的網(wǎng)頁呢？如何重訪那些被修改了的網(wǎng)頁呢？如何發(fā)現(xiàn)那些被刪除了的網(wǎng)頁呢？為了保持和萬維網(wǎng)網(wǎng)頁的同步變化，就必須有網(wǎng)頁重訪策略。通過該策略可以識別增加、修改及刪除網(wǎng)頁這3種網(wǎng)頁變化的情況。
上一篇：
暫無信息更多新聞
2020
關(guān)于網(wǎng)站優(yōu)化，關(guān)鍵詞搜索是網(wǎng)絡(luò)搜索索引主要方法之一，就是訪問者希望了解的產(chǎn)品、服務(wù)和公司等的具體名稱用語。選擇流量穩(wěn)定的關(guān)鍵詞。下面小編告訴大
View details
2020
關(guān)于官網(wǎng)優(yōu)化，其實(shí)吧想要做好網(wǎng)站外部鏈接。然而SEO說簡單也簡單，說復(fù)雜也復(fù)雜。團(tuán)隊(duì)運(yùn)用的是否為正規(guī)的技術(shù)？ 我個(gè)人曾經(jīng)用過一些非正規(guī)技術(shù)，但是經(jīng)過一
View details
2020
關(guān)于網(wǎng)站優(yōu)化，大家可能都了解，創(chuàng)業(yè)的第一步就是找到客戶，那在以前創(chuàng)業(yè)的時(shí)候要想找到自己公司的目標(biāo)客戶都是使用傳統(tǒng)的銷售模式，要不就是朋友介紹這樣的
View details
2020
本人前幾天在站長網(wǎng)上發(fā)布了一篇名叫《小站長做網(wǎng)站應(yīng)從功利型向服務(wù)型轉(zhuǎn)變》的文章，剖析了小站長目前所處的現(xiàn)狀，并提出了打造服務(wù)型網(wǎng)站的思路，很多網(wǎng)友可能看了文章之后有點(diǎn)
View details
